人工智能研究中的一个新兴主题是创建模型，以模拟特定人员的决策和行为，包括游戏玩法，文本生成和艺术表达。这些模型以对个人的量身定制的方式以及为互动而不是简单地繁殖固定的预计行为的复制方式而超越了早期的方法。我们将这些称为模拟模型，在本文中，我们开发了一个框架，以表征其日益增长的可用性所带来的道德和社会问题。我们的框架包括用于使用此类模型的许多不同方案，并考虑了对一系列不同参与者的影响，包括正在建模的目标，部署模型的操作员以及与之交互的实体。

以前的工作在很大程度上通过“偏见”的透镜指定的镜头考虑了图像字幕系统的公平性。相比之下，我们提供了一组技术，用于测量五种类型的代表性危害以及使用最流行的图像标题数据集获得的最终测量结果。我们的目标不是审核此图像字幕系统，而是要开发规范性的测量技术，进而提供了一个机会来反思所涉及的许多挑战。我们提出了每种危害类型的多种测量技术。我们认为，这样做可以更好地捕获每种危害的多方面性质，从而改善了所得测量值的（集体）有效性。在整个过程中，我们讨论了我们的测量方法的基础假设，并指出了它们不进行的假设。

对AI系统的分类评估，其中系统性能分别为不同的人分别评估和报告，在概念上简单。然而，他们的设计涉及各种选择。其中一些选择会影响将获得的结果，从而产生可以绘制的结论;其他人影响了有益和有害的影响 - 将分列的评估将对人们进行分类，包括其数据用于进行评估的人员。我们认为，更深入的了解这些选择将使研究人员和从业者能够设计仔细和决定性的分类评估。我们还争辩说，更好地记录这些选择，以及所做的潜在考虑因素和权衡，将在解释评估的结果和结论时帮助别人。

We survey 146 papers analyzing "bias" in NLP systems, finding that their motivations are often vague, inconsistent, and lacking in normative reasoning, despite the fact that analyzing "bias" is an inherently normative process. We further find that these papers' proposed quantitative techniques for measuring or mitigating "bias" are poorly matched to their motivations and do not engage with the relevant literature outside of NLP. Based on these findings, we describe the beginnings of a path forward by proposing three recommendations that should guide work analyzing "bias" in NLP systems. These recommendations rest on a greater recognition of the relationships between language and social hierarchies, encouraging researchers and practitioners to articulate their conceptualizations of "bias"-i.e., what kinds of system behaviors are harmful, in what ways, to whom, and why, as well as the normative reasoning underlying these statements-and to center work around the lived experiences of members of communities affected by NLP systems, while interrogating and reimagining the power relations between technologists and such communities. Anne H. Charity Hudley. 2017. Language and Racialization. In Ofelia García, Nelson Flores, and Massimiliano Spotti, editors, The Oxford Handbook of Language and Society. Oxford University Press. Won Ik Cho, Ji Won Kim, Seok Min Kim, and Nam Soo Kim. 2019. On measuring gender bias in translation of gender-neutral pronouns. In Proceedings of the Workshop on Gender Bias in Natural Language Processing, pages 173-181, Florence, Italy.

符号回归（SR）是学习数学表达式形式的数据模型的任务。从本质上讲，SR模型有可能同时准确和人性化。不幸的是，找到这样的模型，即执行SR，似乎是一项计算密集的任务。从历史上看，SR一直以贪婪或遗传算法等启发式方法进行解决，尽管有些作品暗示了SR的可能硬度，但尚无证据证明SR实际上是NP-HARD。这就提出了一个问题：是否有确切的多项式时间算法来计算SR模型？我们提供的证据表明，通过证明SR是NP-HARD，答案可能是负面的。